Tiền thân của câu lạc bộ được xem là bắt nguồn từ đội bóng đá Công an Hải Phòng[1].Đội bóng được thành lập vào năm 1952,từng 11 lần vô địch giải hạng A miền Bắc cũng như vô địch Cúp Quốc gia, vô địch môn bóng đá nam thuộc Đại hội Thể dục thể thao toàn quốc 3 lần cũng như 2 lần vô địch giải SKDA và 1 lần vô địch Giải hạng nhất.Nhắc đến câu lạc bộ,không thể không nhắc đến những tên tuổi làm nên lịch sử đội bóng như:Đặng Văn Dũng, Đinh Thế Nam, Nguyễn Trọng Đán, Vũ Trọng Hà, Nguyễn Trung Dũng,Trần Bình Sự,Chu Văn Mùi.Tuy nhiên,đây là đội bóng duy nhất của thành phố "Hoa phượng đỏ" còn tồn tại sau khi bao cấp bị xóa bỏ trong khi một loạt đội bóng mạnh khác của thành phố cảng bị giải thể như Điện lực Hải Phòng(giải thể năm 1992), Cảng Hải Phòng(giải thể năm 1991),Hóa chất sông Cấm,Quân khu 3 hay trước đó là Xi măng Hải Phòng(sau đổi tên thành Công nhân Xây dựng Hải Phòng).[1]

Sau mùa giải 2001-02, khi một lần nữa phải xuống chơi ở giải Hạng nhất, thấy không còn phù hợp với nền bóng đá chuyên nghiệp mới được xây dựng tại Việt Nam, ngành Công an Hải Phòng đã quyết định chuyển giao đội bóng về Sở Thể dục Thể thao Thành phố Hải Phòng.[1] Trong những năm đầu dưới sự quản lý của Sở TDTT, ban lãnh đạo chọn mô hình kết hợp với một doanh nghiệp tài trợ, đội lần lượt ghép tên với Thép Việt Úc, Mitsustar Haier rồi Vạn Hoa. Nhưng mô hình này không mấy thành công, đội tiếp tục ngược xuôi giữa giải chuyên nghiệp và giải hạng Nhất.[1]

Ngày 16 tháng 10 năm 2007, Sở Thể dục thể thao Hải Phòng giao cho Công ty Xi măng Hải Phòng quản lý và điều hành.[2] Câu lạc bộ đổi tên thành Xi măng Hải Phòng, gây ra một sự nhầm lẫn nho nhỏ với một đội bóng cùng tên tồn tại trước đây của công ty vào thời bao cấp.

Sau khi được chuyển giao về cho Xi măng Hải Phòng quản lý, câu lạc bộ ngay lập tức thi đấu khởi sắc trong mùa bóng đầu tiên quay trở lại V-League và giành hạng Ba chung cuộc tại Giải vô địch bóng đá quốc gia năm 2008 dưới sự dẫn dắt của huấn luyện viên Vương Tiến Dũng. Tại mùa giải ngay sau đó, đội góp phần đánh dấu hai cột mốc cho sự phát triển của bóng đá Việt Nam khi thành công trong việc ký hợp đồng với cựu tuyển thủ Brasil, nhà vô địch World Cup 2002, Denílson về thi đấu cho đội tại giai đoạn 2 V-League 2009. Đây là cầu thủ tên tuổi nhất về thi đấu tại Việt Nam tính đến thời điểm đó.[3] Việc thứ hai là hội cổ động viên bóng đá Hải Phòng chính thức trở thành hội cổ động viên đầu tiên của Việt Nam được thành lập theo quyết định của Ủy ban nhân dân thành phố, có tư cách pháp nhân, con dấu và tài khoản riêng.

Bắt đầu từ mùa giải V-League 2011, Xi măng Hải Phòng được đổi tên thành Vicem Hải Phòng do câu lạc bộ có thêm nhà tài trợ mới là Tổng công ty công nghiệp Xi măng Việt Nam.[4]

Cuối mùa bóng V-League 2012, đội thi đấu kém với vị trí chót bảng, phải xuống thi đấu ở Giải hạng Nhất mùa bóng 2013. Tuy nhiên, đội bóng đã mua lại suất chơi của Câu lạc bộ bóng đá Khatoco Khánh Hòa ở V-League nên vẫn được tiếp tục thi đấu ở V-League 2013.

Năm 2014, đơn vị chủ quản Vicem trả X.V Hải Phòng về cho thành phố, đội bóng đổi tên thành Câu lạc bộ bóng đá Hải Phòng. Mặc dù không còn tiềm lực tài chính mạnh như thời xi măng nhưng đội bóng lại có kết quả khả quan hơn trước: năm 2014 vô địch cúp quốc gia, năm 2015 đã có thời điểm dẫn đầu bảng xếp hạng V-League.

Năm 2016, CLB Hải Phòng mặc dù không được đánh giá cao nhưng đã dẫn đầu BXH V League trong phần lớn mùa giải. Đáng chú ý là chuỗi trận thắng 7 trận liên tiếp trong 7 vòng đấu đầu tiên của giải. Đáng tiếc là do hụt hơi trong những vòng đấu cuối cùng. Hải Phòng đã để Hà Nội T&T giành lấy chức vô địch một cách rất đáng tiếc khi bằng điểm và chỉ để thua chỉ số phụ. Nhưng dù sao thì CLB cũng có một mùa giải thành công ngoài mong đợi.

Năm 2017, đội chơi ổn định và kết thúc với vị trí thứ 7 chung cuộc

Năm 2018, đội có lúc tham gia cuộc đua cho chức vô địch nhưng về cuối mùa đội không giữ được sự ổn định khi chỉ cán đích vị trí thứ 6 chung cuộc. Đây là mùa giải cuối cùng của thủ môn của Đội tuyển Việt Nam Đặng Văn Lâm cho câu lạc bộ và anh đã giúp câu lạc bộ nhận ít bàn thua nhất giải với 26 bàn. Sau đó anh chuyển đến Thái Lan chơi cho CLB Muangthong United

Năm 2019, đội kết thúc với vị trí thứ 12 chung cuộc. Đây là mùa giải ra mắt thành công của thủ môn trẻ Nguyễn Văn Toản cho câu lạc bộ khi được triệu tập lên Đội tuyển Việt Nam tham dự King's Cup 2019 tại Thái Lan và được triệu tập lên đội tuyển U23 Việt Nam tham dự Sea Games 30 tại Philippines và dành Huy chương vàng môn bóng đá nam chung cuộc. Đây cũng là mùa giải cuối cùng của HLV Trương Việt Hoàng dẫn dắt CLB sau 5 năm gắn bó và rất nhiều công thần của đội bóng ra đi trong đó nổi bật nhất là cặp đôi ngoại binh người Jamaica Andre Fagan và Jermie Lynch đến đầu quân cho Than Quảng Ninh

Năm 2020, đội ra mắt HLV Phạm Anh Tuấn đến từ CLB Sông Lam Nghệ An và cầu thủ Việt Kiều nổi bật Martin Lò đến từ Phố Hiến FC . Đây hứa hẹn là một mùa giải đáng chờ đợi của đội bóng.